在过去几年中，许多面部分析任务已经完成了惊人的性能，其中应用包括来自单个“野外”图像的面部生成和3D面重建。尽管如此，据我们所知，没有方法可以从“野外”图像中产生渲染的高分辨率3D面，并且这可以归因于：（a）可用数据的跨度进行培训（b）缺乏可以成功应用于非常高分辨率数据的强大方法。在这项工作中，我们介绍了一种能够从单个“野外”图像中重建光电型渲染3D面部几何和BRDF的第一种方法。我们捕获了一个大型的面部形状和反射率，我们已经公开了。我们用精确的面部皮肤漫射和镜面反射，自遮挡和地下散射近似来定义快速面部光电型拟型渲染方法。有了这一点，我们训练一个网络，将面部漫射和镜面BRDF组件与烘焙照明的形状和质地一起脱颖而出，以最先进的3DMM配件方法重建。我们的方法通过显着的余量优于现有技术，并从单个低分辨率图像重建高分辨率3D面，这可以在各种应用中呈现，并桥接不一体谷。

In recent years, image and video delivery systems have begun integrating deep learning super-resolution (SR) approaches, leveraging their unprecedented visual enhancement capabilities while reducing reliance on networking conditions. Nevertheless, deploying these solutions on mobile devices still remains an active challenge as SR models are excessively demanding with respect to workload and memory footprint. Despite recent progress on on-device SR frameworks, existing systems either penalize visual quality, lead to excessive energy consumption or make inefficient use of the available resources. This work presents NAWQ-SR, a novel framework for the efficient on-device execution of SR models. Through a novel hybrid-precision quantization technique and a runtime neural image codec, NAWQ-SR exploits the multi-precision capabilities of modern mobile NPUs in order to minimize latency, while meeting user-specified quality constraints. Moreover, NAWQ-SR selectively adapts the arithmetic precision at run time to equip the SR DNN's layers with wider representational power, improving visual quality beyond what was previously possible on NPUs. Altogether, NAWQ-SR achieves an average speedup of 7.9x, 3x and 1.91x over the state-of-the-art on-device SR systems that use heterogeneous processors (MobiSR), CPU (SplitSR) and NPU (XLSR), respectively. Furthermore, NAWQ-SR delivers an average of 3.2x speedup and 0.39 dB higher PSNR over status-quo INT8 NPU designs, but most importantly mitigates the negative effects of quantization on visual quality, setting a new state-of-the-art in the attainable quality of NPU-based SR.

Recent image degradation estimation methods have enabled single-image super-resolution (SR) approaches to better upsample real-world images. Among these methods, explicit kernel estimation approaches have demonstrated unprecedented performance at handling unknown degradations. Nonetheless, a number of limitations constrain their efficacy when used by downstream SR models. Specifically, this family of methods yields i) excessive inference time due to long per-image adaptation times and ii) inferior image fidelity due to kernel mismatch. In this work, we introduce a learning-to-learn approach that meta-learns from the information contained in a distribution of images, thereby enabling significantly faster adaptation to new images with substantially improved performance in both kernel estimation and image fidelity. Specifically, we meta-train a kernel-generating GAN, named MetaKernelGAN, on a range of tasks, such that when a new image is presented, the generator starts from an informed kernel estimate and the discriminator starts with a strong capability to distinguish between patch distributions. Compared with state-of-the-art methods, our experiments show that MetaKernelGAN better estimates the magnitude and covariance of the kernel, leading to state-of-the-art blind SR results within a similar computational regime when combined with a non-blind SR model. Through supervised learning of an unsupervised learner, our method maintains the generalizability of the unsupervised learner, improves the optimization stability of kernel estimation, and hence image adaptation, and leads to a faster inference with a speedup between 14.24 to 102.1x over existing methods.

随着深度神经网络（DNN）的出现，成为许多计算机视觉任务中的骨干，它们在现实世界中的消费应用程序中的采用不断扩大。鉴于智能设备的丰富性和无所不能，正在形成“智能生态系统”，同时进行感应而不是独立。这将处式推理范式转移到在边缘部署集中式神经加工单元（NPU），其中多个设备（例如，在智能家居或自动驾驶汽车中）可以通过动态速率流式传输数据以进行处理。尽管这为输入批处理提供了增强的潜力，但幼稚的解决方案可以导致表现不佳的性能和经验质量，尤其是在尖峰负载下。同时，动态DNN的部署，包括随机计算图（例如早期 - 外观（EE）模型），引入了此类系统中动态行为的新维度。在这项工作中，我们提出了一种新颖的早期感知的调度算法，该算法允许在运行时进行样本抢占，以说明到达和早期外来过程引入的动态性。同时，我们向NPU硬件体系结构的设计空间介绍了两个新颖的维度，即流体批处理和可堆叠的处理元素，这些元素可以使运行时适应性适应不同的批次尺寸，并显着改善了NPU利用率，即使在小批次尺寸下也是如此。我们的评估表明，我们的系统分别在平均延迟和尾部潜伏期SLO满意度方面，平均达到1.97倍和6.7倍的改善。

基于注意力的神经网络在许多AI任务中都普遍存在。尽管其出色的算法性能，但注意力机制和前馈网络（FFN）的使用仍需要过多的计算和内存资源，这通常会损害其硬件性能。尽管已经引入了各种稀疏变体，但大多数方法仅着重于缓解算法级别上的二次注意力缩放，而无需明确考虑将其方法映射到真实硬件设计上的效率。此外，大多数努力仅专注于注意机制或FFN，但没有共同优化这两个部分，导致当前的大多数设计在处理不同的输入长度时缺乏可扩展性。本文从硬件角度系统地考虑了不同变体中的稀疏模式。在算法级别上，我们提出了Fabnet，这是一种适合硬件的变体，它采用统一的蝴蝶稀疏模式来近似关注机制和FFN。在硬件级别上，提出了一种新颖的适应性蝴蝶加速器，可以在运行时通过专用硬件控件配置，以使用单个统一的硬件引擎加速不同的蝴蝶层。在远程 - ARENA数据集上，FabNet达到了与香草变压器相同的精度，同时将计算量减少10到66次，参数数量为2至22次。通过共同优化算法和硬件，我们的基于FPGA的蝴蝶加速器在归一化到同一计算预算的最新加速器上达到了14.2至23.2倍的速度。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，我们的系统在相同的功率预算下的最大273.8和15.1倍。

在本文中，我们提出了一个深度学习框架，该框架为人形机器人步行步态中的腿部接触率检测提供了统一的方法。我们的配方实现了准确，稳健地估计每条腿的接触状态概率（即稳定或滑动/无接触）。所提出的框架采用了仅本体感知感应，尽管它依赖于模拟的基础真相接触数据进行分类过程，但我们证明了它在不同的摩擦表面和不同的腿部机器人平台上概括，同时也很容易地从模拟转移到模拟转移到实践。该框架是通过使用地面真实接触数据在模拟中进行定量和定性评估的，并与ATLA，NAO和TALOS类人类机器人的现状与ART方法形成对比。此外，用真实的talos人类生物生物估计得出了其功效。为了加强进一步的研究努力，我们的实施是作为开源的ROS/Python软件包，即创建的腿部接触检测（LCD）。

在大多数运动中，尤其是足球运动，大多数教练和分析师都使用符号分析搜索关键绩效指标。该方法利用了基于视频录像和目标得分的数值记录的事件的统计摘要。不幸的是，由于技术的持续进化增加，这种方法现在已经过时了，从而简化了通过机器学习（ML）对更复杂的过程变量的分析。机器学习是一种人工智能（AI）的一种形式，它使用算法来检测有意义的模式并根据位置数据定义结构。这项研究调查了一种新方法，以建立机器学习模型来评估当前足球运动员的价值，以调查玩家的各种特征，球员的工资和球员的市场价值之间的关系。该项目使用的足球运动员的数据来自多个足球网站。足球运动员薪水的数据将是评估球员价值的代理，其他功能将用于建立和训练ML模型，以预测球员的合适薪水。动机是探索足球运动员的不同特征与薪水之间有什么关系 - 每个功能如何影响其薪水，或者哪些最重要的特征影响了工资？尽管许多标准可以反映足球运动员的价值，但球员的薪水是最直观，最关键的指数之一，因此本研究将使用球员的工资作为评估其价值的代理。此外，球员的许多功能都会影响足球运动员的估值，但是球员的价值主要由三种类型的因素决定：基本特征，球场表现以及俱乐部的成就。

现代物联网（IoT）环境通过大量IoT启用的传感设备进行监视，并根据计算能力和能源的数据采集和处理基础架构设置限制。为了减轻此问题，通常将传感器配置为以相对较低的采样频率运行，从而减少了一组观测值。然而，这可能会妨碍随后的决策，例如预测。为了解决这一问题，在这项工作中，我们评估了在高度不确定的情况下的短期预测，即，传感器流的数量远高于观测值的数量。相对于五个不同的现实世界数据集的最终预测准确性，对几种统计，机器学习和基于神经网络的模型进行了彻底检查。将重点放在统一的实验协议上，专门针对物联网边缘的多个时间序列的短期预测设计。所提出的框架可以被视为在资源约束的物联网应用程序中建立可靠的预测策略的重要步骤。

本文介绍了我们在Aaai 2022的多模态事实验证（Factifify）挑战的参与者系统。尽管最近基于文本的验证技术和大型预训练的多模式模型的跨视野和语言，但在申请方面取得了非常有限的工作自动化事实检查过程的多模式技术，特别考虑到社交媒体上的图像和视频的索赔和假新闻的普遍存在。在我们的工作中，挑战被视为多式联版征报任务并被诬陷为多级分类。提出并探索了两个基线方法，包括集合模型（组合两个Uni-Modal模型）和多模态注意力网络（在索赔和证据文件中建模图像和文本对之间的交互）。我们在这项工作中进行了调查和基准测试和基准测试的几个实验和基准测试。我们的最佳型号在排行榜中排名第一，在验证和测试集中获得0.77的加权平均f测量值。对DataSet的探索性分析也在辅助数据集上进行，并揭示了激励我们假设的突出模式和问题（例如，单词重叠，视觉着色相关性，来源偏见）。最后，我们突出了未来研究的任务和多模式数据集的挑战。

语义细分是许多视觉系统的骨干，从自动驾驶汽车和机器人导航到增强现实和电信。在有限的资源信封内经常在严格的延迟约束下运行，对有效执行的优化变得很重要。同时，目标平台的异质功能以及不同应用程序的不同限制需要设计和培训多个针对特定目标的细分模型，从而导致过度维护成本。为此，我们提出了一个框架，用于将最新的分割CNN转换为多EXIT语义细分（MESS）网络：经过特殊训练的模型，这些模型沿其深度沿其深度进行参数化的早期出口到i）在推断过程中动态保存计算更容易的样本和ii）通过提供可定制的速度准确性权衡来节省培训和维护成本。设计和培训此类网络天真地损害了性能。因此，我们为多EXIT网络提出了新颖的两期培训方案。此外，Mess的参数化可以使附件分割头的数字，位置和体系结构以及退出策略通过详尽的搜索在<1GPUH中进行部署。这使得混乱能够快速适应每个目标用例的设备功能和应用要求，并提供火车一路上的部署解决方案。与原始的骨干网络相比，Mess变体具有相同精度的潜伏期增长率高达2.83倍，而相同的计算预算的潜伏期提高到同一计算预算的准确性高5.33 pp。最后，与最先进的技术相比，MESS提供了更快的架构选择订单。